CalVerT: Augmenting Agents with Calibrated Verifier Telemetry Improves Action and Learning in Knowledge-Intensive Tasks
CalVerT：用校准验证遥测增强智能体，改进知识密集型任务行动与学习
🧭 Agent校准遥测改进检索决策
The University of Texas at Austin
给智能体状态加入校准自置信和接地验证分数，纠正过度信任参数知识与冗余检索
📌 工作参考价值（4 点）
- 在购物助手、搜索Agent等场景，可引入类似双信号状态：用模型对候选答案的校准置信度（如 p(true)）和检索片段对答案的支持度（grounding verifier）作为决策依据，减少幻觉和无用检索。
- 无需重新训练即可将遥测信号接入现有Agent框架（如 ReAct、RaR），只需在 Prompt 或状态中附加这两个分数，即可立竿见影提升回答准确率并节省检索成本。
- 当业务场景面临“模型太自信却答错”或“反复查询知识库却已有充分信息”时，可借鉴该工作设计决策规则：当置信度低且接地分低时触发检索，当两者都高时直接回答。
- 若后续采用强化学习微调Agent策略，将遥测信号作为状态特征加入，能进一步优化决策，此思路可直接复用于电商对话Agent的检索策略训练。